Phạm Diệp sinh ra trong một gia đình sĩ tộc, mẹ ông chỉ là một người vợ bé, do đó thân phận, địa vị không cao, ông cao tổ Phạm Quỹ, làm Thứ sử Ung Châu nhà Tây Tấn, ông cố Phạm Uông làm quan nhà Đông Tấn, chức quan tới Tấn An Bắc Tướng quân, Thứ sử hai châu Từ, Duyện, được phong tước Võ Hưng huyện hầu, ông nội Phạm Ninh nhậm chức Thái thú Lâm Hoài, Thái thú Dự Chương, cha Phạm Thái giữ chức Trung thư Thị lang, thời Hoàn Huyền chấp chính bị phế truất, ông cố Phạm Uông học thức uyên bác, giỏi bàn lý sự, tác phẩm để lại có "Thượng thư đại sự" 20 quyển, "Phạm Đông dương phương" 105 quyển, ông nội Phạm Ninh viết sách "Xuân Thu Cốc Lương truyện tập giải" 12 quyển, cha Phạm Thái lại có "Cổ Kim thiện ngôn" 24 quyển.

Phạm Diệp tuy sinh ra trong một gia tộc quyền quý, nhưng lại là con ngoài giá thú do người thiếp sinh ra, mẹ ông sinh ông ra trong nhà xí, trên trán có vết bầm tím,nên ông còn có thêm chữ nhỏ (tiểu tự) là "Chuyên". Năm 420 Lưu Dụ phế nhà Tấn xưng Đế, đặt quốc hiệu là Tống, cùng năm, Phạm Diệp làm Quán quân tham quân cho con trai Lưu Dụ là Lưu Nghĩa Cung, sau hơn 10 năm, trước sau từng đảm nhiệm qua các chức vụ quan trọng như Thượng thư ngoại binh lang, Kinh Châu Biệt giá Tòng sự sứ, Bí thư giám, Thái thú Tân Sái, Tư đồ Tòng sự trung lang, do tính cách kiêu ngạo, nên thường bị giáng chức quan.

Năm Nguyên Gia thứ 9 Tống Văn Đế (năm 432) Phạm Diệp nhân vì tham dự lễ tang mẹ Bành Thành Vương Lưu Nghĩa Khang, trong bữa tiệc chuốc lấy sự giận dữ từ Lưu Nghĩa Khang nên ông bị giáng chức Thái thú Tuyên Thành (tỉnh An Huy ngày nay), trong khi giữ chức ở Tuyên Thành, vì bất đắc chí, ông lần lượt tham khảo các sách sử của các sử gia đời trước mà tự mình san lọc viết thành bộ Hậu Hán thư, là tác phẩm sử học nổi tiếng đương thời, sách viết đơn giản, chu đáo, tỉ mỉ, tự sự sinh động, sau nhiều năm được tha tội, lần lượt được bổ nhiệm làm Trấn quân trưởng sử cho Trường Sa Vương Lưu Nghĩa Hân, Ninh Sóc Tướng quân, Hậu quân trưởng sử cho Thủy Hưng Vương lưu Tuấn, Thái thú Nam Hạ Phì và Thái tử Chiêm sự.

Đương thời, em trai Văn Đế Lưu Nghĩa Khang được lập làm Tể tướng, thao túng chính sự trong ngoài, lấn áp quyền lực của Văn Đế. Năm 440 tâm phúc của Văn Đế Lưu Nghĩa Khang là Lưu Trạm bị ám sát chết, Văn Đế nghi ngờ Khang có liên quan đến vụ ám sát nên lưu đày Khang cùng hơn 10 người thân tín và giáng chức làm Thứ sử Giang Châu. Năm 445 Tán kỵ thị lang Khổng Hy Tiên mưu ủng hộ việc phục quyền cho Lưu Nghĩa Khang, Phạm Diệp bị dụ tham gia vào nhóm mưu phản này, kết cục ông gia nhập nhóm mưu phản của Khổng Hy Tiên và chuẩn bị hành động, tuy nhiên vào tháng 11 cùng năm, Đơn Dương Y Từ Trạm Chi tố cáo phát hiện ra kế hoạch mưu phản của Khổng Hy Tiên, ra lệnh bắt Phạm Diệp và toàn bộ gia tộc xử tử hình, ở trong tù ông viết "Thư gửi đám con cháu ở trong ngục" trước khi bị xử tử, hưởng thọ 48 tuổi.